Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
多模态预训练物理学：知识流、模态协同、早期统一与配方
🧭 多模态预训练机制与训练效率优化
FAIR, Meta · Reality Labs, Meta · University of Oxford
系统揭示多模态预训练中知识非对称流动、模态协同依赖任务复杂度、早期统一优于晚对齐，并给出高效配方
📌 工作参考价值（4 点）
- 模态协同架构设计：在多模态推荐模型（如结合商品图文）中，采用共享注意力与层归一化，但解耦模态特定的 FFN，可促进协同并缓解竞争。
- 早期联合训练：从训练之初就统一多模态特征，而非分阶段预训练后对齐，能避免视觉惰性，使模型同时学习跨模态理解，对需要同时理解文本查询和商品图像的场景有益。
- 知识流动不对称性：语言先验可强驱动视觉生成，可利用文本生成增强商品图像描述或虚拟试穿模型的训练策略。
- 高效训练配方：通过 MoE 架构与训练策略压缩计算至原 5% 仍能保持强生成能力，直接适用于资源受限的电商多模态模型预训练。